Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge
知道何时思考不够：教小推理模型超越参数知识进行推理
🧭 小模型推理 · 选择性外部查询 ★ 深度解读
KAIST · DeepAuto.ai
区分执行瓶颈与知识瓶颈，训练小模型只在知识瓶颈时查询强模型，4B 超越 14B 且成本低 2.7 倍
📌 工作参考价值（4 点）
- 区分内部执行瓶颈与外部知识瓶颈：在 LLM 驱动的搜索/推荐 Agent 中，当模型反复反思但答案不变、或继续生成也拿不到正确结果时，不要只加长推理；可监控中间状态的成功率/答案熵，识别知识缺口并触发商品知识库、检索或更强模型。
- 把强模型封装成多深度查询工具：让策略学习是否问、问什么、用哪个成本档，比固定检索或开场就查更省；外部模型只接收子查询而不看完整问题，避免答案委派和泄露。
- 两阶段训练可落地：先用 SFT 合成“救援轨迹”教会小模型调用工具，再用 cost-aware GRPO 校准查询时机和深度；仅对成功轨迹惩罚成本，能学到多轮廉价查询，接近深后端性能、接近浅后端成本。
- 经济性设计值得借鉴：在电商导购、政策问答等知识密集场景，可复用其 pass@k 与单位成本曲线评估，通过 GPU/API 价格扫描验证成本优势的稳健性。